बाइटडांस के डौबाओ बड़े मॉडल टीम ने हाल ही में घोषणा की है कि उन्होंने मिश्रित विशेषज्ञ मॉडल (MoE) आर्किटेक्चर की प्रमुख बाधाओं को सफलतापूर्वक दूर कर लिया है, और COMET नामक एक महत्वपूर्ण अनुकूलन तकनीक को ओपन सोर्स किया है। इस तकनीक ने बड़े मॉडल की प्रशिक्षण दक्षता में उल्लेखनीय वृद्धि की है, जिससे 1.7 गुना तक की दक्षता में बढ़ोतरी हुई है, और प्रशिक्षण लागत में 40% की कमी आई है। चित्र स्रोत टिप्पणी: चित्र AI द्वारा उत्पन्न किया गया है, चित्र अधिकार सेवा प्रदाता Midjourney। बताया गया है कि COMET तकनीक का उपयोग बाइटडांस के हजारों कार्ड वाले क्लस्टर प्रशिक्षण में किया जा चुका है, जिससे लाखों GP की बचत हुई है।